Rényi divergence

The definition of Rényi entropy

$ \alpha \geq 0かつ$ \alpha \neq 1なる次数$ \alphaに対して以下のように定義される

$ H_{\alpha} (X) = \frac{1}{1-\alpha}log(\sum_{i=1}^np_i^{\alpha})

$ Xは離散確率変数

possible outcomes $ \mathcal{A} = \{x_1, x_2, \dots, x_n\}

$ p_i \equiv Pr(X = x_i)

$ \alpha \rightarrow 1の極限を取るとShannon entropyに一致する

P.6

Shannon entropy

$ H(X) = - \sum_{i=1}^nP(x_i) log P(x_i)

KL-divergenceの一般化としてRényi divergenceを考えることができて、分布$ P, Qのdivergenceは以下のように定義できる

$ D_{\alpha}(P||Q) = \frac{1}{1-\alpha}log(\sum_{i=1}^n\frac{p_i^{\alpha}}{q_i^{\alpha-1}})

$ \alpha \rightarrow \inftyの極限を取るとMax Divergenceに一致する

P.4の注釈3